Metric	Score
Weighted-F1	79.16
Hyphens-F1	67.77
Comma-F1	73.47
Ellipsis-F1	11.11
Fullstop-F1	86.36
QMark-F1	76.49
Colon-F1	82.01
Excl-F1	16.67

Metric	Score
Weighted-F1	86.46
Hyphens-F1	73.63
Comma-F1	84.58
Ellipsis-F1	100.00
Fullstop-F1	89.94
QMark-F1	90.85
Colon-F1	87.80
Excl-F1	76.71

Metric	Score
Weighted-F1	82.89
Hyphens-F1	71.86
Comma-F1	76.05
Ellipsis-F1	100.00
Fullstop-F1	89.80
QMark-F1	80.95
Colon-F1	85.36
Excl-F1	40.00

Metric	Score
Weighted-F1	80.18
Hyphens-F1	66.92
Comma-F1	78.11
Ellipsis-F1	100.00
Fullstop-F1	87.64
QMark-F1	83.51
Colon-F1	64.91
Excl-F1	22.22

worst items

note: the gold standard is taken from the challenge

#	input	expected output	actual output	test-B Comma-F1
1	wikinews199816 hiszpan rafael nadal lider rankingu tenisistów pokonał niemca björna phaua 7 6 6 3 7 6 i awansował do drugiej rundy wielkoszl…	O O B-COMMA O O B-COMMA O O O O O B-COMMA O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O …	O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O …	13.16
2	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-CO…	16.67
3	wikitalks0017075 ani słowa o zachowaniach agresywnych kiedy poziom nikotyny spada a potrafią one być skrajne znam również sytuacje kiedy już…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-CO…	O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O B-COMMA O O O O O O O …	25.00
4	wikinews180020 polska edycja wikinews wolnego źródła informacji opartego o technologię wiki ma już rok na początku 2005 roku po dyskusji na …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O B-COMMA O O O O O O B-COMMA O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O …	36.36
5	wikitalks004346 w odniesieniu do ich surowego życia może coś przeoczyłem ale nie widzę 'fantazyjności' nie szukając daleko finezyjne jak to …	O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O B-COMMA O O O B-COMMA O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O …	38.46
6	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O …	O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O …	40.00
7	wikinews231413 między 15 a 18 lipca 2007 roku lech kaczyński wraz z małżonką odbył podróż do stanów zjednoczonych w pierwszym dniu wizyty ma…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O …	40.00
8	wikinews181800 na podlasiu rozpoczęły się przedterminowe wybory do sejmiku województwa razem z nimi odbywa się referendum w sprawie przebieg…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O …	40.00
9	wikinews227317 drugiego maja wchodzi w życie rozporządzenie ministra transportu i budownictwa z dnia 20 kwietnia zmieniające rozporządzenie …	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O …	40.00
10	wikinews187921 " ars ante portas " to cykl wystaw twórczości artystów którzy bezinteresownie uczestniczyli w zbiorowym przedsięwzięciu artys…	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O B-COMMA O B-COMMA O O O …	O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O …	42.86
11	wikitalks001598 co za bzdura z tym że saiyanom nie rosły włosy może na głowie ale nie dotyczy to zarostu połowa saiyan miała zarost chyba ni…	O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O …	O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O …	44.44
12	wikinews196417 " dlaczego ścigano wachowskiego a szczególnie dlaczego robiono rewizje wachowskiemu dlatego że chciano znaleźć oryginalne]] p…	O O O B-COMMA O O O O O O B-COMMA O O O B-COMMA O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O B-COMM…	O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O …	44.44
13	wikitalks0016207 zbrojnik niebieski to ancistrus multispinis " bristlenose catfish " a ancistrus dolichopterus to l183 " starlight bristleno…	O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O B-COMMA O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O B-COMMA O O O B-COMMA O B-COMMA O O O B-…	45.71
14	wikinews188806 tygodnik gala już po raz siódmy ogłosił konkurs na najpiękniejszych polaków tych których podziwia się za mądrość osiągnięcia …	O O O O O O O O O O O B-COMMA O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O B-COMMA O O O O B-COMMA B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	48.00
15	wikinews180419 w poniedziałek w kolonii w meczu 1 8 finału szwajcaria została wyeliminowana z turnieju przez ukrainę w konkursie rzutów karn…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	50.00
16	wikinews180045 bogdan rymanowski odszedł z faktów tvn według spekulacji miał zastąpić kamila durczoka na stanowisku prezentera wiadomości w …	O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O …	50.00
17	wikitalks007788 link do " archiwalna strona wp pl z 12 lutego 1998 roku " nie dzial w chwili testowania dostep 2006 05 31 teraz dziala herr …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O …	O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	53.33
18	wikitalks0016801 o co chodzi z tym " tramwaje w polsce " to może od razu ramka z " przejściami granicznymi w polsce " albo " puby w polsce "…	O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O …	53.85
19	wikinews184403 z powodu wykrycia infekcji gronkowca złocistego u siedmiu noworodków w wojewódzkim szpitalu specjalistycznym we wrocławiu zam…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMM…	54.55
20	wikinews184105 4 października w godzinach wieczornych po raz 17 przyznano ig noble zwane też anty noblami dostają je naukowcy których badani…	O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-…	O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA …	56.00
21	wikinews229330 28 i 29 marca w zakopanem odbyły się zawody w slalomie kobiet i mężczyzn w ramach tradycyjnego memoriału bronisława czecha i …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA B-COMMA B-COMMA O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA B-COMMA O O O O O O O O O O O O B-COMMA O O O O …	56.00
22	wikitalks008601 a co z wyrażeniem " oblucja " " w kościele rzymskokatolickim " dlaczego na wstępie tego artykułu jest napisane że ablucja to…	O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-CO…	O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	57.14
23	wikitalks0014941 skąd informacja że krzyż i tablica były umieszczone nielegalnie czy autor edycji mógłby podać źródło czy liczy się dodanie …	O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-…	O B-COMMA O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O …	58.06
24	wikinews231720 na dzień otwarty z okazji dnia rodzicielstwa zastępczego zapraszają pracownicy miejskiego ośrodka pomocy rodzinie w słupsku z…	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O …	O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA …	58.82
25	wikinews230864 prezydent francji jacques chirac opuścił dziś wojskową klinikę val de grace w której spędził tydzień czasu powodem pobytu był…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O B-COMMA O O O O O O …	O O O O O O O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O …	58.82
26	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O B-COMMA O O O O O O O O O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O B-COMMA O O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	59.26
27	wikinews239133 nasa ogłosiła w poniedziałek swoje plany dotyczące powrotu ludzi na księżyc głównym założeniem jest wysłanie czteroosobowej z…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O …	60.00
28	wikinews227796 25 maja rząd odpowie na żądania strajkujących lekarzy ogólnopolski związek zawodowy lekarzy domaga się miliarda złotych na po…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-…	60.00
29	wikinews231893 9 maja na białorusi obchodzony jest dzień zwycięstwa w pochodzie w mińsku uczestniczył prezydent aleksander łukaszenka z syna…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O B-CO…	61.54
30	wikinews232784 apelem o jak najszybsze sfinalizowanie rokowań prowadzonych w ramach negocjacyjnej rundy dauha zakończył się szczyt 21 państw…	O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O …	61.54
31	wikinews226523 15 kwietnia 2013 na warszawskiej giełdzie papierów wartościowych ruszy nowy system giełdowy gpw po 13 latach zmienia system k…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O B-COMMA O O O O O …	62.50
32	wikinews196680 28 lipca odbędą się w krakowie w hotelu galaxy targi kariera programisty targi organizowane są cyklicznie przez firmę careerc…	O O O O O B-COMMA O O B-COMMA O O O O O O O O O O O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O B-COMMA O O O O …	63.16
33	wikitalks002735 artykuł miesza tezy naukowe z tezami wyssanymi z palca oraz ew fiolozofii i religii nie mówiać przy tym która jest która nie…	O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O B-…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA B-COMMA O O O O O O O O O O O O O B-COMMA …	63.16
34	wikinews229916 to pierwszy w polsce projekt który pokazuje osobom niepełnosprawnym jak przebić się przez mur obojętności centrum edukacji i …	O O O O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA …	O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O …	63.16
35	wikitalks0013650 zastanowiłbym się czy nie doprecyzować nazwy np podziemia rynku w krakowie lub podziemia rynku głównego w krakowie dla krak…	O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O …	O B-COMMA O O O B-COMMA O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-COMMA O …	63.16
36	wikinews180554 na 5 5 km prologu w düsseldorfie zawodników przywitała nie najlepsza pogoda czasami nawet utrudniała ona bardzo jazdę specjal…	O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-…	O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-COMMA O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O …	63.64
37	wikinews218360 na terenach wystawowych w pradze w dniach 13 16 maja 2010 r odbyły się targi książki svět knihy w tym roku gościem honorowym …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA …	63.64
38	wikitalks0012907 rozbudowałem znacząco w ostatnim czasie myślałbym o zgłoszeniu do da proszę o ewentualne uwagi pod tym kątem misiek2 pisz w…	O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O B-COMMA O O O O B-COMMA O B-COMMA O O O O O O …	O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O B-COMMA O B-COMMA O O O O O O O B-CO…	64.29
39	wikinews188420 w dniach 9 12 lipca w bielawie w województwie dolnośląskim odbył się po raz jedenasty zlot miłośników literatury j r r tolkie…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O B-COMMA O …	66.67
40	wikinews226727 zarząd dróg i transportu w łodzi przedstawił harmonogram prac przy przebudowie trasy w z inwestycji obejmującej nie tylko wbu…	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	66.67